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摘 要 : 针对 已 有 安全 帽 佩戴 检测 算法 对 部 分 遮挡 、 尺 寸 不 一 和 小 目标 存在 检测 难度 大 ， 准 确 率 低 的 问题 ， 提 出 了 
基于 改进 的 Faster RCNN 和 多 部 件 结合 的 安全 帽 佩 戴 检 测 方 法 。 在 原始 Faster RCNN 上 运用 多 尺度 训练 和 增加 锚 点 
数量 增强 网 络 检 测 不 同 尺寸 目标 的 鲁 棒 性 ， 并 引入 防止 正 负 样本 不 均衡 的 在 线 困难 样本 挖 据 策略， 然后 对 检测 出 的 
佩戴 安全 帆 工 人 和 安全 幅 等 采用 多 部 件 结 合 方法 别 除 误 检 目标 。 实 验 表 明 ， 相 比 于 原始 Faster RCNN， 检 测 准 确 率 
提高 了 7%， 对 环境 的 适应 性 更 强 。 
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Safety helmet wearing detection study based on improved faster RCNN 
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一 一 (1. School of Information Science & Engineering, School of Mathematics & Physics, Changzhou University, Changzhou 
b> Jiangsu 213164, China; 2. Fujian Provincial Key Laboratory of Information Processing & Intelligent Control, Minjiang 
College, Fuzhou 350108, China) 


Abstract: Concerning the problem that the existing safety helmet wearing detection method has certain detection difficulty 
and low accuracy for partial occlusion, different size and small object, proposing a safety helmet wearing detection method 
based on improved Faster RCNN and multi-part model. Based on original Faster RCNN algorithm, this method uses 
multi-scale training and increased anchor number strategy to enhance the robustness of network to detect different scales, 
and introduce online hard example mining strategy to prevent imbalance between positive and negative samples. Then, 
detecting the wearing safety helmet workers, safety helmet and other parts. Last, using multi-part model method to eliminate 
the false object. Experiments show that the detection accuracy is improved by 7% compared to the original Faster RCNN, 
and the adaptability to the environment is stronger. 
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model 
不 ， 司 兰 征用 于 安全 帽 检测 。 该 方法 取得 了 一 定 的 检测 效果 ， 但 是 方 
和 法 整体 的 准确 率 较 低 且 只 能 检测 特定 颜色 的 安全 帽 ， 以 上 都 


化 工厂 、 变 电站 和 建筑 工地 等 场所 环境 复杂 ， 存 在 各 种 是 基于 传统 的 机 器 学 习 的 方法 进行 分 类 检测 的 ， 这 类 方法 多 
威胁 人 身 安全 的 危险 因素 。 由 于 头 部 是 人 体 最 关键 的 部 位 ， 是 基于 人 为 设计 选取 的 特征 ， 需 要 实验 者 具有 坚实 的 专业 盐 
也 最 容易 受到 致命 的 伤害 ， 所 以 ， 在 此 类 场所 作业 的 人 员 均 础 和 丰富 的 实验 经 验 , 特征 设计 过 程 主观 性 较 强 且 十 分 复杂 ， 
有 佩戴 安全 帽 的 要 求 。 在 监控 系统 中 自动 检测 工人 是 否 佩 戴 不 但 费时 费力 ， 而 且 泛 化 能 力 较 差 ， 难 以 适应 光照 等 条 件 的 
安全 帽 并 作出 相应 的 反馈 ， 对 保护 国家 的 劳动 力 ， 提 高 安全 变化 。 
绩效 等 至 关 重 要 。 随 着 近年 来 深度 学 习 相 关 技 术 的 快速 发 展 ， 越 来 越 多 的 

安全 帽 佩 戴 检测 作为 目标 检测 的 一 种 ， 有 着 重要 的 应 用 研究 人 员 将 深度 学 习 方法 应 用 于 图 像 分 类 中 、 目 标识 别 四、 
介 值 。 栅 俊 苏 等 人 叫 使 用 可 变形 部 件 模型 人 " ) 图 像 分 制 和 检测 局 等 众多 复杂 的 任务 中 ， 并 且 都 取得 了 相当 
图 像 的 几何 形状 特征 、 纹 理 特征 和 颜色 特 和 好 的 效果 。 基 于 深度 学 习 的 目标 检测 算法 主要 分 为 两 类 : 一 
安全 帽 的 佩戴 检测 。 该 方法 设计 过 程 非常 复杂 且 特 征 的 计算 类 是 RCNN 系列 的 基于 区 域 的 目标 检测 算法 ， 如 Fast 
量 较 大 。Kalantarikhandani 等 人 中 将 整个 检测 过 程 分 为 两 部 分 。” RCNNI61、Faster RCNNUDI 以 及 R-FCNGBI 等 ， 这 类 算法 的 检测 
内 容 ， 首 先 ， 结 合 图 像 的 频 域 信息 与 方向 梯度 直方 图 结果 精度 较 高 ， 但 是 速度 较 慢 ; 另 一 类 是 以 YOLO 四 为 代表 
(histogram of oriented gradient，HOG ) 用 于 工人 检测 ; 然后 的 将 检测 转换 为 回归 问题 求解 ， 如 YOLO、SSD00 等 ， 这 类 
结合 颜色 和 圆 环 霍 夫 变换 (circle Hough transform，CHT) 特 算法 检测 速度 较 快 ， 但 是 精度 较 低 且 对 于 小 目标 的 目标 检测 
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效果 不 理想 。 相 比 基 于 候选 区 域 的 方法 ， 直 接 预 测 边界 框 的 的 候选 区 域 。 
方法 能 提高 目标 检测 系统 的 检测 速度 。 但 YOLO 网 络 直接 对 2 个 目标 分 数 | 。 | 亿 个 参数 化 内 标 | | K 个 二 点 
原 图 像 进行 网 格 划分 ， 会 使 目标 位 置 过 于 粗糙 。SSD 加 以 改 有、 
进 ， 对 不 同 深度 的 网 络 层 回归 采用 不 同 尺度 的 窗口 ， 但 是 
于 SSD 采用 的 候选 框 选 取 机 制 , 对 小 目标 的 检测 效果 仍然 差 。 
于 Faster-RCNN。 VV 二 

Faster RCNN 将 目标 检测 实现 模块 〈 候 选区 域 生 成 、 特 一 
征 提 取 、 目 标 分 类 、 位 置 精 修 ) 统一 到 一 个 深度 网 络 框架 之 
中 ， 完 全 实现 端 到 端的 目标 检测 ， 检 测 准 确 率 相对 于 其 他 深 
度 网 络 都 要 高 。 因 此 ， 本 文选 取 Faster RCNN 网 络 作为 安全 和 相国 
帽 佩戴 检测 的 基础 框架 。 但 是 ， 如 果 直 接 将 原始 的 Faster 图 1 RPN 网 络 结构 
RCNN 模型 应 用 于 实际 场景 中 的 安全 帽 佩 戴 检测 中 可 能 会 有 Fig.1 RPN network structure 
三 个 次 端 :a) 不 同 场 景 中 的 佩戴 安全 帽 工 人 的 尺寸 差异 较 大 ， 1.1.2 区 域 建议 网 络 的 损失 函数 
可 能 无 法 检测 远 处 的 小 目标 ;b) 佩戴 安全 帽 工 人 目标 在 图 片 在 训练 RPN 网 络 时 ， 为 每 个 候选 框 分 配 一 个 二 值 标签 ， 
中 较 背 景区 域 所 占 比 例 小 ， 致 使 RPN 产生 较 多 的 负 样 本 空 用 于 网 络 训 练 ， 将 以 下 两 种 情况 分 配 正 标签 : 
间 ， 网 络 模 型 难以 收敛 ;c〉 由 于 安全 帽 区 域 占 佩戴 安全 帽 工 a) 与 某 个 真实 目标 区 域 框 的 IoU (intersection- 
人 区 域 比 例 相 对 较 小 ， 网 络 多 会 将 未 佩戴 安全 帽 的 人 员 误 检 ，” ”over-union) 最 大 的 候选 框 。 
为 目标 。 b) 与 任意 真实 目标 区 域 框 的 IoU 大 于 0.7 的 候选 框 。 

车 于 上 述 原 因 ， 本 文 提 出 一 种 以 Faster RCNN 为 基础 模 为 所 有 真实 目标 候选 框 的 IoU 小 于 0.3 的 候选 框 分 配 负 
型 ， 结 合 多 尺度 训练 、 增 加 错 点 数量 和 在 线 困 难 样本 挖掘 标签 ， 然 后 进行 网 络 训 练 并 微调 参数 。 图 像 的 损失 函数 定义 

(online hard example mining, OHEMD)00 机 制 优化 原始 模型 ， 中 如 式 (1)〉 所 示 。 

解决 了 目标 尺寸 差异 大 、 庶 挡 等 因素 的 影响 ， 克 服 了 训练 时 1 


1 
LPGD= po P) tA P(t t) (1) 


Nog 


负 样 本 空间 过 大 等 缺点 。 同 时 对 检测 出 的 佩戴 安全 帽 工人 及 
其 部 件 〈 安 全 帽 、 工 人 ) 采用 多 部 件 结合 方法 ， 进 一 步 提高 其 中 : i 表示 小 批 次 处 理 中 的 第 i 个 候选 框 索 引 ，pi 是 第 i 个 
了 安全 帽 佩戴 检测 的 准确 率 。 候选 框 为 目标 的 概率 ， 若 i 为 候选 目标 ， 则 zz 为 1， 和 否则 为 
本 0。f={twbytwtn} 是 一 个 向 量 ， 表 示 预 测 的 参数 化 的 候选 框 坐 

安全 帽 给 测 方 ; ep 
1 ”安全 帽 佩戴 检测 方法 标 。 女 是 对 应 的 是 真实 目标 框 的 坐标 向 量 。 志 和 站 的 定义 如 


三 


传统 的 图 像 检 测 方 法 是 基于 可 变形 部 件 模 型 U1 (DPM) 式 (2) 所 示 。 
的 ， 在 VOC2007 数据 集中 ， 它 的 平均 精度 (mean average t=x x )/ wt, =(y- y,)/h, 
precision，mAP) (9 可 以 达到 43% 。 研 究 人 员 将 CNN 强大 t, =log(w/ w,),t, =log(h/ h,) 四 
的 分 类 能 力 应 用 于 图 像 检 测 。 最 新 提出 的 Faster RCNN 框架 BF=(X Xx) /waty =(y" — ya) /ho 
在 VOC2007 数据 集 上 的 mAP 可 达到 73% 。 研 究 表明 , Faster t, =log(w /wa),ts = log(h/ h,) 


RCNN 网 络 模型 在 各 种 复杂 背景 下 对 各 种 类 别 目标 都 具有 很 其 中 : (wy) 为 包围 盒 的 中 心 点 坐标 ; (xa,ya) 为 候选 框 的 


强 的 鉴别 能 力 中 。 所 以 ， 本 文 将 Faster RCNN 模型 应 用 到 化 坐标 ; (x",y”) 为 真实 区 域 的 包围 盒 的 坐标 ，w 和 h 为 包围 
工厂 、 变 电站 和 施工 场地 等 场所 的 安全 帽 佩戴 检测 中 。 盒 的 宽 和 高 。 算 法 的 目的 在 于 找到 一 种 关系 将 原始 框 P 映射 
1.1 Faster RCNN 简介 到 与 真实 框 G 更 接近 的 回归 框 。 

Faster RCNN 是 由 两 个 模块 组 成 : 生成 候选 区 域 的 区 域 分 类 的 损失 函数 Los 定义 如 式 (3) 所 示 。 
建议 网 络 (region proposal network, RPN ) 模块 和 Fast RCNN Ls(pi, Pp?)=—log[p; pi; +(1—p;)(1— p)] (3) 
目标 检测 模块 。RPN 模块 产生 候选 区 域 ， 并 利用 “注意 力 ” 机 回归 的 损失 函数 Les 定义 如 式 (4) 所 示 。 
制 ， 让 Fast RCNN 有 方向 性 的 去 检测 目标 。 首先 ，RPN 网 络 Des fist)= R(t -Hi) (4) 
预先 产生 可 能 是 佩戴 安全 帽 工 人 和 安全 帽 等 部 件 的 一 系列 目 其 中 R 是 smooth L1 函数 ，smooth Li 函数 如 式 〈5) 所 示 。 
标 候 选 框 ， 然 后 Fast RCNN 基于 提取 出 的 候选 框 来 对 目标 检 oT (人 |xlk<1 A 
测 识别 。 | |x|-0.5,，|xk1 
1.1.1 区 域 建议 网 络 (RPN) 1.1.3 RPN 与 Fast RCNN 

RPN 7 的 基本 思想 是 在 特征 图 上 找到 所 有 可 能 的 目标 候 Fast RCNN 是 基于 RPN 产生 的 候选 区 域 边界 框 来 检测 
选区 域 ， 它 通过 在 原始 的 网 络 结构 上 添加 卷 积 层 和 全 连接 层 识别 候选 框 中 的 佩戴 安全 帽 工人 。 训 练 过 程 中 ， 首 先 将 带 有 
来 同时 在 每 个 位 置 上 回归 目标 边界 框 和 预测 目标 分 数 。RPN 标注 的 数据 集 输入 到 网 络 中 ， 通 过 卷 积 网 络 进行 特征 提取 ， 


网 络 结构 如 图 1 所 示 。RPN 采用 的 是 滑动 窗口 机 制 ， 每 个 滑 ”然后 将 RPN 产生 对 应 的 候选 区 域 映 射 到 该 特征 图 中 , 获得 相 
动 窗口 都 会 产生 一 个 短 的 特征 向 量 来 输入 到 全 连接 层 中 进行 ”应 的 特征 信息 。 再 通过 ROI 池 化 层 产 生 固定 大 小 的 特征 图 输 
立 置 和 类 别 的 判断 ， 在 每 个 滑动 窗口 位 置 同 时 预测 多 个 候选 ”入 到 全 连接 层 中 ， 产 生 目 标 所 属 类 别 概率 和 区 域 坐标 。RPN 
区 域 ， 其 中 每 个 位 置 的 预测 候选 区 域 的 数量 为 k。 因 此 ， 拒 和 Fast RCNN 通过 交替 优化 共享 特征 提取 网 络 部 分 ， 实 现 高 
归 层 4k 个 输出 ， 编 码 k 个 框 的 四 个 坐标 ， 分 类 层 输出 效 的 目标 检测 。 

2k 个 评分 , 预测 每 个 区 域 的 所 属 目 标的 概率 和 所 属 背 景 的 概 ” 1.2 改进 的 Faster RCNN 

率 。k 个 候选 框 被 参数 化 ， 称 为 k 个 锚 点 。 为 了 使 算法 更 好 为 了 使 Faster RCNN 模型 能 够 更 好 的 应 用 于 安全 帽 佩戴 
地 适用 于 不 同形 状 和 尺寸 的 目标 ， 网 络 将 特征 图 上 的 每 个 位 。 检测 , 本 文 提 出 在 原始 Faster RCNN 基础 上 结合 多 尺度 训练 、 
置 设置 多 个 锚 点 ， 以 预测 输入 图 像 的 不 同 尺度 和 不 同 长 宽 比 。 增加 锚 点 数量 和 在 线 困难 样本 挖掘 机 制 策略 增强 模型 的 性 
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能 。 样本 。 另 一 个 ROI 网 络 (图 中 阴影 部 分 ) 包含 前 向 和 后 向 操 
1.2.1 多 尺度 训练 作 ， 它 的 输入 是 前 一 个 ROI 网 络 所 挑选 出 的 困难 样本 ， 输 出 


在 实际 施工 现场 ,佩戴 安全 帽 工 人 的 目标 尺寸 差异 较 大 。 ”是 预测 的 分 类 结果 和 边界 框 的 坐标 。 即 首先 使 用 一 个 额外 的 
原始 的 Faster RCNN 通常 会 对 所 有 的 训练 图 片 采 用 固定 尺 ” ROI 选取 困难 样本 ,然后 使 用 这 些 困难 样本 来 进行 标准 ROI 
寸 ， 这 样 对 不 同 尺 寸 的 目标 检测 泛 化 性 能 较 差 。 本 文采 用 多 ”网 络 训练 。 该 算法 不 需要 设置 正 负 样 本 之 间 的 数量 比例 来 解 
尺度 训练 ， 在 将 图 片 送 入 网 络 之 前 ， 在 保证 图 像 原 有 比例 的 。 决 数 量 不 平衡 问题 ， 更 有 针对 性 ， 进 一 步 提高 了 物体 检测 的 


前 提 下 ， 将 图 片 随机 调整 大 小 ， 使 其 较 短 边 取 480，600 和 准确 性 。 通 过 实验 发 现 ， 在 线 困 难 样本 挖掘 策略 可 以 增强 算 

750 之 一 。 然后 随机 选择 三 种 尺度 之 一 送 入 网 络 中 进行 训练 。 法 的 判别 能 力 ， 提 高 网 络 检 测 精 度 。 

实验 证 明 多 尺度 训练 使 得 网 络 能 够 学 习 目 标的 各 种 尺寸 的 特 es 

征 ， 使 得 网 络 对 目标 尺寸 大 小 具有 一 定 的 鲁 棒 性 。 有 ES Ma 

1.2.2 锚 点 数量 导 殉 [| ~ IF| |F 让 
RPN 网 络 中 的 锚 点 数量 是 网 络 中 一 个 非常 重要 的 超 参 NI ' 

数 ， 它 直接 影响 到 后 续 的 候选 区 域 的 生成 。 原 始 的 Faster 人 | 

RCNN 使 用 9 个 错 点 ， 每 个 滑动 窗口 产生 9 个 不 同 尺度 和 不 | 

同 长 宽 比 的 候选 区 域 ， 最 后 对 整 张 图 片 产 生 的 候选 区 域 使 用 Ci 

非 极 大 值 抑制 算法 剔除 多 余 的 候选 区 域 。 但 是 网 络 默认 设置 SU 和 -| 

的 锚 点 参数 对 区 域 较 小 的 目标 无 法 召回 。 在 对 施工 现场 安全 

帐 佩 戴 检测 时 ， 需 要 检测 出 安全 帽 、 人 员 等 多 个 目标 ， 小 目 加 2 ”改进 后 的 Faster RCNN 网 络 框架 

标 总 是 存在 的 。 因 此 ， 在 默认 参数 的 基础 上 ， 加 入 一 组 64 Xx Fig.2 Improved Faster RCNN network framework 

64 锚 点 《〈 比 默认 设置 的 更 小 ) 使 得 网 络 可 以 检测 到 更 多 的 小 1.3 多 部 件 结合 

目标 。 在 训练 过 程 中 ，RPN 部 分 使 用 12 个 锚 点 ， 尺 度 大 小 佩戴 安全 帽 的 工人 是 由 安全 帽 和 工人 两 个 部 分 组 成 ， 对 

分 别 为 64X64，128X128，256X256，512X512， 三 个 纵横 图 像 中 的 各 部 分 进行 标定 ， 然 后 使 用 改进 的 Faster RCNN 框 

比分 别 为 1 1，1: 2 和 2: 1。 实 验证 明 本 文 增加 的 64X64 ” 架 进行 训练 。 由 于 安全 帽 区 域 占 佩 戴 安 全 帽 工人 区 域 比 例 相 

的 尺度 可 以 检测 更 多 的 小 目标 。 对 较 小 ， 网 络 多 会 将 未 佩戴 安全 帽 的 工人 误 检 为 目标 。 而 在 


1.2.3 在 线 困难 样本 挖掘 策略 仿 测 过 程 中 ， 如 果 有 一 个 区 域 被 检测 为 佩戴 安全 帽 的 工人 ， 
Faster RCNN 在 进行 模型 训练 时 ，RPN 网 络 会 随机 产生 ”而 且 此 区 域内 又 存在 相应 位 置 的 安全 帽 等 部 件 ， 那 么 此 区 域 
大 量 的 候选 区 域 ， 由 于 目标 在 图 片 中 所 占 比例 较 小 ， 导 致 产 。 检测 为 佩戴 安全 帽 工 人 的 概率 就 大 大 增加 。 针 对 此 特点 ， 提 
生 的 负 样 本 空间 过 大 ， 正 样本 和 负 样 本 的 存在 巨大 的 失衡 ， 出 了 多 部 件 结合 的 方法 ， 用 于 佩戴 安全 帽 工人 检测 。 整 个 方 
网 络 模型 偏向 负 样 本 。 原 始 的 Faster RCNN 将 mini-batch 设 ”法 流程 如 图 3 所 示 。Faster RCNN 部 分 主要 是 进行 数据 集 格 
置 为 2， 产生 128 个 候选 区 域 ， 输 入 到 后 续 网 络 中 进行 分 类 式 转 换 和 模型 优化 等 过 程 ;多 部 件 结合 技术 用 来 判断 佩戴 安 
检测 。 实 际 上 ，RPN 网 络 产生 的 候选 区 域 超 过 128 个 ， 这 些 。 全 帽 工 人 目标 区 域内 的 相应 位 置 是 否 存 在 所 属 部 件 ， 从 而 提 


候选 区 域 是 从 RPN 产生 的 所 有 候选 区 域 中 随机 选择 的 。 正 例 高 检测 准确 性 。 
和 负 例 之 间 的 数量 比 通 常 为 1: 3049,， 主要 用 来 解决 训练 时 正 方法 具体 过 程 如 下 : 
负 样 本 数量 的 极 大 失衡 问题 ， 这 本 质 上 并 没有 根除 样本 不 拉 a) 通过 从 VOC2012 数据 集 挑选 I、 网 络 搜 集 和 自行 采 
衡 问 题 ， 且 随 机 挑选 的 样本 中 包含 大 量 无 效 样 本 ， 导 致 模型 集 等 方式 获 到 的 各 种 背景 场景 和 不 同 质量 的 变 有 站 以 及 施工 
退化 。 场地 等 场所 的 监控 图 片 ， 并 对 图 片 中 的 安全 帽 、 人 员 、 佩 戴 
为 了 解决 训练 过 程 中 正 负 样本 失衡 问题 ， 本 文 将 在 线 困 安全 帽 工 人 标注 出 来 转换 为 YOC2007 数据 集 格式 。 
难 样本 挖掘 机 制 引 入 到 Faster RCNN 网 络 框架 中 来 进行 安全 b) 将 处 理 好 的 数据 集 输 入 到 改进 的 Faster RCNN 模型 训 
帽 佩戴 检测 ， 在 不 需要 人 为 设 定 样本 的 正 负 比例 和 不 降低 网 练 。 
络 实时 性 能 的 情况 下 ， 同 时 进行 困难 样本 挑选 ， 从 而 提 网 络 c) 降低 模型 检测 置信 和 度 闵 值 , 然后 基于 上 述 优化 的 模型 
性 能 。 来 检测 Wo ， 人 殊 除 孤立 部 件 。 
困难 样本 就 是 网 络 在 进行 分 类 时 错误 目标 被 分 类 为 正确 d) 对 于 剩 下 的 佩戴 安全 帆 标 , 计算 有 无 所 属 部 件 。 
的 且 置 信 度 阔 值 较 高 的 样本 。 善 通 的 困难 样本 选择 方法 是 对 开始 Sy Ee ) 
使 用 一 定 比例 的 正 负 样 本 进行 分 类 器 训练 ， 然 后 使 用 测试 集 人 Us 了 1 
进行 检测 ， 挑 选 困难 样本 加 入 到 初始 训练 集中 再 重新 进行 训 3 | 一 全 3 有 的 是 加 | 
练 ， 但 是 每 次 重新 训练 时 都 要 固定 模型 ， 难 以 在 神经 网 络 中 ae A | 
实现 。Shrivastava 等 人 05 提 出 了 针对 Fast RCNN 网 络 模型 的 和 用处 理 好 的 到 天 斑 Ma 训 
在 线 困难 样本 挖掘 机 制 。 本 文 将 OHEM 机 制 引入 Faster er | | | 
RCNN 网 络 框架 中 解决 网 络 训练 过 程 中 负 样 本 空间 过 大 问 | 二 改 |， 
题 。 引 入 OHEM 机 制 的 Faster RCNN 框架 如 图 2 所 示 。 1 『 用 本 人 于 1 人 是。 | 
将 Faster R-CNN 的 ROI 池 化 层 后 面部 分 称 为 ROI 网 络 ， RasterRCNN 阶 段 该 目标 是 人 吉安 全 | 
引入 OHEM 机 制 后 将 原始 的 1 个 ROI 网 络 扩展 成 2 个 共享 | 该 村 不 是 全 雪 头盔 的 人 员 | 
网 络 参数 的 ROI 网 络 。 其 中 一 个 是 只 读 的 , 只 读 ROI 网 络 中 ss 人 
的 所 有 操作 都 是 前 向 的 ， 主 要 功能 包括 根据 式 (1) 计算 所 有 和 
候选 区 域 的 loss 值 并 对 其 进行 排序 ， 选 择 部 分 loss 值 较 大 的 图 3 ”安全 帽 佩戴 检测 方法 流程 
候选 区 域 ， 即 选择 当前 网 络 表现 较 差 的 的 候选 区 域 作 为 困难 Fig.3 Method flow of safety helmets wearing detection 
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2 ”实验 分 析 


实验 环境 配置 : GPU: GeForce GTX 1080Ti, CUDA8.0， 
16.04, 内 存 12GB 。 实验 使 用 基于 CAFFE (convolution 


Ubuntu 


architecture for feature extraction ) 学 习 


数 训练 
网 络 相 


框架 进行 相关 代码 和 参 
, 网 络 框架 Faster RCNN 选择 VGG 1609] 网 络 ,VGG16 


取 目 标 


2.1 数据 集 


的 显著 特征 ， 取 得 更 好 的 检测 结果 。 


以 本 实 
行 采集 
场景 和 
据 实验 
示 ， 对 


行 验证 


为 
验 使 用 
的 有 效 


HOP; 


于 关于 安全 帽 佩戴 检测 研究 未 曾 发 现 公 共 数 
验 使 用 的 数据 是 通过 从 VOC2012 数据 集中 
和 网 上 收集 等 方式 获得 的 , 共 7000 张 , 包含 
不 同 质量 的 施工 场地 和 变电站 等 场所 的 监控 图 片 ， 根 
要 求 ， 将 其 转换 成 VOC2007 数据 集 格式 ， 如 图 4 所 
各 个 部 件 进行 人 工 标注 。 另 外 搜集 了 200 张 实际 施工 


对 于 ZFNet20 和 LeNetP20 拥 有 更 深 的 网 络 层 ， 更 能 提 
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在 使 用 改进 的 Faster RCNN 框架 进行 佩戴 安全 帽 工 人 等 ”FP (false positive ) 表 示 被 模型 预测 为 负 值 的 正 样本 ; FN (false 
初步 检测 后 ， 将 检测 目标 分 为 两 类 : 佩戴 安全 由 工人 和 安全 。 “negative》 表 示 被 模型 预测 为 负 值 的 正 样本 。 
帽 等 部 件 。 若 佩戴 安全 帽 工 人 的 检测 置信 和 度 小 于 0.9597， 则 实验 中 网 络 结构 部 分 参数 如 表 1 所 示 。 
通过 计算 部 件 与 佩戴 安全 帽 工 人 的 相对 位 置 关 系 以 及 重 县 率 表 1 VGG16 网 络 结构 的 部 分 参数 表 
来 判断 它们 的 从 属 关 系 ， 部 件 与 目标 重 蓝 率 最 大 有 日 相对 位 置 Table ] Partial parameter list of VGG16 network structure 
关系 正确 例如 ， 安 全 帽 在 佩戴 安全 帽 工人 区 域 的 上 部 1/3 类 型 / 层 数 卷 积 核 数 量 卷 积 核 大 小 / 步 长 
内 ) 的 目标 即 判 定 为 佩戴 安全 帽 工人 。 重 登 率 公式 08 如 《〈6) Convl_x/2 64 3x3/1 
所 示 : Maxpool 2x2/2 
IoU PartAcreagef |OverallAcreage (6) Conv2_x/2 128 3x3/1 
PartAcreagel OverallAcreage Maxpool 2x2/2 
其 中 :ParthAcreage 是 检测 后 框 出 安全 帽 等 部 件 区 域 ， Conv3_x/3 256 3x3/1 
OverallAcreage 是 框 出 的 佩戴 安全 帽 工人 区 域 , IoU 是 部 件 与 Maxpool 2x2/2 
目标 的 重 玛 率 。 接 着 ， 将 孤立 的 检测 结果 剔除 ， 剩 下 的 就 是 Conv4_x/3 512 3x3/1 
希望 检测 到 的 佩戴 安全 帽 工人 。 Maxpool 2x2/2 
ConvS_X/3 512 3x3/1 


本 文 将 网 络 中 输出 大 小 相同 的 卷 积 层 归 为 一 组 ， 如 表 1 
中 第 1 列 所 示 。 整 个 网 络 分 为 五 组 卷 积 层 ， 每 组 包含 x 卷 积 
层 ， 如 Convl_x/2， 表 示 第 一 组 包含 2 个 卷 积 层 。 表 中 第 2、 
3 列 分 别 表 示 卷 积 核 数量 和 卷 积 核 大 小 / 步 长 。 

1) 对 比 相同 场景 下 Faster RCNN 改进 前 后 的 检测 效果 
使 用 7000 张 VOC2007 格式 的 数据 分 别 对 原始 的 Faster 
RCNN 网 络 和 结合 多 尺度 训练 、 增 加 锚 点 数量 和 在 线 困难 样 
本 挖掘 机 制 的 Faster RNN 训练 , 使 用 200 张 实际 场景 中 的 监 
控 图 片 (包含 377 个 佩戴 安全 帽 工 人 目标 ) 进行 训练 好 的 两 


、 
站 时 
中 月 永 


的 监控 图 片 来 进行 方法 测试 ， 对 提出 方法 的 有 效 性 进 


o 


图 4 标注 图 片 数 据 
Fig.4 Labelimage data 
2.2 实验 结果 和 分 析 


了 评估 提出 方法 对 佩戴 安全 帽 工人 检测 的 有 效 性 ， 实 


精确 度 (precision ) 和 召回 率 〈(recall) 22 来 衡量 方法 


性 ， 计 算 公 式 如 式 (7) (8) 所 示 。 


TP 


precision = 一 一 一 一 
TP+FP 


IP 


Tecall = 一 一 一 一 
TP+FN 


TP (true positive) 表示 被 模型 预测 为 1 


E 值 的 1 


个 模型 进行 测试 。 两 种 算法 效果 如 表 2 所 示 。 
表 2 两 种 模型 效果 对 比 


Table 2 Comparisons between two models 


检测 方法 检测 错 检 ” 漏 检 ”召回 率 /% 精确 度 /% 
Faster RCNN 310 44 67 82.22 87.57 
改进 后 的 Faster 


341 32 36 90.45 91.42 
RCNN 


表 2 显示 ， 改 进 后 Faster RCNN 的 测试 精确 度 提 高 了 
3.85%， 召回 率 提 高 了 8.23%。 图 5 是 两 种 算法 在 实际 图 片上 
的 检测 效果 , 绿色 框框 出 的 是 人 员 , 紫色 框框 出 的 是 安全 帽 ， 
红色 框框 出 的 是 佩戴 安全 帽 工 人 。 从 图 5 中 可 以 看 出 ， 改 进 
后 的 Faster RCNN 检测 效果 明显 优 于 原始 Faster RCNN, 图 b 
相对 于 图 a 能 够 检测 出 较 多 的 佩戴 安全 帽 工人 ， 且 检测 出 的 
置信 度 也 较 高 。 实 验证 明 ， 改 进 后 的 Faster RCNN 框架 能 够 
有 效 地 优化 模型 。 


(a) 原 始 faster RCNN (b) 改 进 后 的 faster RCNN 
(a)Original faster RCNN (b)Improved faster RCNN 


图 5 两 种 算法 的 检测 效果 对 比 
Fig.5 Comparisons with two different methods 
2) 采用 不 同 策略 训练 网 络 时 的 效果 
为 了 进一步 验证 本 文 提出 方法 的 有 效 性 ， 分 别 使 用 不 同 
策略 对 网 络 进行 训练 和 测试 ， 效 果 如 表 3 所 示 。 
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表 3 使 


不同 策略 的 网 络 测试 效果 


Table 3 Network test results using different Strategies 


锚 点 框 数 多 尺度 训练 在 线 ER 召回 率 ” 精确 度 

目 本 挖掘 /% /% 
1 9 否 否 82.22 87.57 
这 12 否 否 83.96 88.36 
3 12 是 否 86.31 89.51 
4 机 否 是 87.59 89.88 
5 12 是 是 90.45 91.42 


从 表 3 中 可 以 看 出 不 同 策略 对 网 络 检测 性 能 的 影响 。 策 


司 尺 寸 的 


标 


三 起? 二 


定 的 鲁 棒 性 。 对 比 策略 2 和 策 


精确 度 提升 了 1.52%， 这 是 因为 本 文 将 在 线 困 


制 嵌 入 到 网 络 模型 中 ， 解 决 了 网 络 在 训练 过 程 
间 过 大 问题 ， 增 强 了 网 络 的 分 辨 力 。 实 验 记 


对 提升 了 网 络 模型 的 检测 性 能 。 


3) 置信 度 


为 了 在 初始 检测 阶段 获得 较 多 的 佩戴 安全 
F， 需 在 Faster RCNN 的 初 检 阶段 设置 
信和 度 阔 值 。 实 验 基 于 改进 后 的 Faster RCNN 框架 对 模 


由 等 目标 和 部 伯 


低 的 


闵 值 确定 


各 1 和 策略 2 相 比 使 得 检测 精确 度 提 升 了 0.79%， 这 是 因为 
本 文 增加 一 组 (64*64) 尺度 的 锚 点 , 将 锚 点 从 原始 的 9 个 增 
加 到 12 个 , 使 得 网 络 能 够 检测 到 更 多 的 小 目标 。 策 
各 3 相 比 网 络 模型 的 测试 精度 提升 了 1.15%， 这 是 
模型 在 训练 阶段 采用 多 尺度 训练 的 策略 ， 使 得 网 络 模型 对 不 


各 2 与 策 
为 网 络 


由 工人 和 安全 


各 4 检测 


难 样本 控 掘 机 
的 负 样本 空 
E 明 ， 三 种 策略 均 


个 较 


型 检测 置信 度 阔 值 讨 论 。 表 4 列 出 了 不 同 置信 和 度 阐 


标 检测 效果 。 


人 


4 不 同 置信 度 阔 值 下 目标 检测 效果 


值 下 的 目 


Table 4 Target detection effect under different confidence thresholds 


置信 和 度 闵 值 错 检 率 /9% 漏 检 率 /9 
0.1 19.1 3.4 
0.2 16.5 3.4 
0.3 12.6 7.5 
0.4 8.3 13.3 


如 表 4 所 示 ， 当 置信 度 阔 值 为 0.2 时 ,佩戴 安 


员 的 漏 检 率 最 低 ，} 
为 了 最 大 程度 的 提高 检测 的 准确 性 ， 本 实验 选取 置 
为 0.2。 如 图 6 所 示 ， 当 置信 度 阔 值 选 为 0.2 时 ， 图 
个 置信 度 0.854 的 
置信 度 的 所 属 部 件 也 被 检测 出 ，4f 
出 较 多 目标 和 部 件 。 

如 图 b， 中 间 人 员 被 误 检 为 佩戴 安全 


j 错 检 率 相对 阔 值 为 0.1 时 也 有 


全 帽 的 人 
所 降低 ， 

信 度 阔 值 
a 中 有 一 


戴 安 全 帽 工人 被 检测 出 来 
得 初始 检测 阶段 


且 有 较 低 
可 以 检测 


相对 地 ， 也 会 有 错误 的 目标 被 
则 工人。 此 时 


测 出 的 


4) 对 比 使 


标 进行 得 


(a) 检 出 低 置信 和 度 目 标 


(a)Detect low confidence targets 


在 降低 检测 置信 度 阔 值 之 后 ， 多 部 件 结合 的 方 
检测 图 片 中 佩戴 安全 帽 的 人 员 ， 使 ) 


Ee 


检测 出 ， 
需要 对 检 


图 6 


部 件 初 检 结 果 
Fig.6 Initial detection result 


用 多 部 件 结合 方法 


(b)Existing false detection targets 


法 进一步 


收集 到 的 200 张 现 实施 
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现场 的 图 片 进行 方法 测试 ， 检 测 效果 如 图 7 所 示 。 


(a) Existing missed targets 


(a) 存 在 漏 检 


(b) 降 低 置 信和 度 闵 值 检测 结果 
(b) Detection result by 


reducing the confidence threshold 


(c) Existing false detection targets 


(d) 多 部 件 结 


(c) 存 在 误 检 目 标 


合 方法 剔除 误 检 目标 
(d) Multi-parts method to 


eliminate false detection targets 


图 7 多 部 件 结合 效果 


Fig.7 


采 /) 
和 相对 位 置 关系 正 
降低 了 
标 为 佩戴 安全 帽 的 人 员 ， 通 过 多 部 件 结合 
属 部 件 的 相对 位 置 关 系 不 正确 安全 帽 的 
标 剔除 ， 如 图 
检测 框 ， 
本 文 还 与 YOLO 模型 以 及 HOG 特 和 


多 部 件 结合 的 方法 ， 通 过 计算 出 


Results of multi-part model 


部 件 和 目标 重 有 登 率 


局 检 率 。 在 降低 置信 和 度 闵 值 之 后 ， 


d。 在 进行 多 部 件 
得 到 最 终 检 测 目 标 。 


确 ， 判 断 此 目标 为 佩戴 安全 帆 


结合 方法 之 后 ， 去 除 掉 部 件 
除了 原始 的 Faster RCNN 模型 ， 


人 ， 从 而 
图 c 误 检 出 一 个 目 
的 方法 ， 判 断 出 所 
位 置 ) ， 故 将 此 


E 方 法 进行 实验 对 比 ， 对 


比 效果 如 表 5 所 示 ， 可 以 看 出 本 文 提 出 方法 检测 效果 明显 ， 
测试 精确 度 达 到 94.23%。 
表 5 对 比 多 部 件 检测 效果 


Table 5 Detection results compared with multi-part model 


检测 方法 召回 率 /% 精确 度 /% 
HOG+SVM 71.95 79.83 
YOLO 80.86 85.43 
改进 Faster RCNN 90.45 91.42 
本 文 方法 91.51 94.56 
5) 不 同 场 景 和 不 同 质 量 的 检测 效果 


测试 集 包含 不 同 场景 和 质量 的 图 片 ， 


对 目标 


的 环境 下 如 图 8 (b) 所 示 、 


如 图 8 所 示 ， 网 络 


尺寸 差距 较 大 如 图 8 


(a) 所 示 、 检 测 目 标 在 光线 较 差 
标 存在 部 分 遮挡 以 及 检测 目标 


较为 模糊 如 图 
验证 了 方法 的 有 效 性 。 


3 ”结束 语 
本 文 首先 使 用 多 尺度 训练 、 增 加 锚 点 


8 (c) 


(d) 的 场景 中 均 有 较 好 的 检测 效果 ， 


数量 和 在 线 困难 样 


本 挖掘 策略 优化 原始 的 Faster RCNN 网 络 模型 ， 然 后 将 从 


201901.00009v1 
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录用 定稿 


VOC2012 数据 集 和 自行 采集 等 方式 收集 到 的 数据 输入 到 改 
进 的 Faster RCNN 中 进行 模型 训练 ， 提 取出 佩戴 安全 帽 工 人 
和 安全 帽 等 部 件 ， 最 后 采用 多 部 件 结合 的 方法 来 进 
安全 帽 的 佩戴 检测 精度 。 实 验 结果 证 明 ， 本 文 使 用 的 方法 对 
全 帽 的 佩戴 检测 精度 有 显著 提高 ， 对 多 尺寸 目标 和 小 目标 
均 有 较 好 的 检测 效果 ， 并 对 场景 的 变化 和 部 分 遮挡 也 有 很 好 
的 鲁 棒 性 。 然 而 ， 因 为 人 员 的 姿态 不 一 ， 而 此 方法 只 能 粗略 
的 选取 安全 帽 等 部 件 的 相对 位 置 。 在 以 后 的 研究 中 ， 将 着 重 


、 


这 方面 进行 展开 ， 以 求 达到 更 好 的 泛 化 性 。 


7 


步 提高 


(a) 目 标尺 寸 差 距 大 


(a) Large target size gap 


(b) 光 线 较 差 
(b) Poor light 


(0) 部 分 谈 挡 (dg) 目标 模糊 


(c) Partial occlusion (d) Target blur 
图 8 不 同 场景 下 的 安全 帽 佩戴 检测 效果 


Fig.8 Safety helmets wearing detection results in different Scenes 
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